ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction
ExtractBench：模式引导的企业文档提取评测基准
🧭 文档信息提取 · 评测基准
RunLLAMA AI
首个同时评估值准确率、记录完整性、溯源和成本的模式引导提取基准，揭示长文档截断与成本权衡
📌 工作参考价值（4 点）
- 电商文档自动化中的评测设计：直接复用 value F1 与 grounding F1（word-level、page-level）评估发票、订单、表格等复杂文档的提取质量，尤其关注长列表字段的完整性截断问题，可避免线上漏单。
- 成本与精度权衡的工程选型：参照论文对商业 VLM（如 GPT-4o、Claude）与编程代理（coding agent）的成本/精度对比，在实时性要求高的电商场景用 VLM，在离线批处理用 coding agent，或使用 LlamaExtract Agentic Plus 这类成本仅为 1/10 的系统。
- Schema 驱动 Agent 的落地验证：论文中 schema 即 JSON Schema 定义字段与类型，可直接用于电商的 SKU 属性提取、报关单信息提取等有明确 schema 的场景，强化 Agent 的指令遵循与证据追溯。
- 挑战场景的针对性优化：根据 13 种挑战标签（如扫描件、手写、密集文本）细分指标，定位自身业务中的高难度文档类型，针对性地调优预处理或模型选型。